本文提出了一种用于特技飞行轨迹生成的新型算法，用于垂直起飞和降落（VTOL）TAILSITTER飞行飞机。该算法与固定翼轨迹生成的现有方法不同，因为它考虑了现实的六度自由度（6DOF）飞行动力学模型，包括空气动力学方程。使用全球动力学模型，能够生成特技轨迹，从而利用整个飞行信封，从而使敏捷的操纵通过摊位策略，侧向飞行，倒置飞行等。是在这项工作中得出的。通过在差异平坦的输出空间中执行快速最小化，可以获得适合在线运动计划的计算高效算法。该算法在包括六架特技飞行器的大型飞行实验中证明了这一算法，一个时间优势的无人机赛车轨迹以及三架尾灯飞机的飞机样有机赛序列。
translated by 谷歌翻译
Quantifying motion in 3D is important for studying the behavior of humans and other animals, but manual pose annotations are expensive and time-consuming to obtain. Self-supervised keypoint discovery is a promising strategy for estimating 3D poses without annotations. However, current keypoint discovery approaches commonly process single 2D views and do not operate in the 3D space. We propose a new method to perform self-supervised keypoint discovery in 3D from multi-view videos of behaving agents, without any keypoint or bounding box supervision in 2D or 3D. Our method uses an encoder-decoder architecture with a 3D volumetric heatmap, trained to reconstruct spatiotemporal differences across multiple views, in addition to joint length constraints on a learned 3D skeleton of the subject. In this way, we discover keypoints without requiring manual supervision in videos of humans and rats, demonstrating the potential of 3D keypoint discovery for studying behavior.
translated by 谷歌翻译
当训练数据稀缺时，用人为生成的数据进行训练可以是一种替代方法，但由于较大的域间隙，培训数据的概括性能差。在本文中，我们通过使用因果框架进行数据生成来表征域间隙。我们假设真实和合成数据具有常见的内容变量，但样式变量不同。因此，随着模型了解滋扰样式变量，对合成数据集训练的模型可能具有较差的概括。为此，我们提出了因果不变性学习，该学习鼓励模型学习一种风格不变的表示，从而增强了SYN到真实的概括。此外，我们提出了一种简单而有效的特征蒸馏方法，以防止灾难性地忘记对真实领域的语义知识。总而言之，我们将我们的方法称为指导性因果不变的syn到现实概括，从而有效地提高了syn到真实的概括的性能。我们从经验上验证了所提出的方法的有效性，尤其是我们的方法在视觉SYN到现实的域概括任务（例如图像分类和语义分割）上实现了最新的方法。
translated by 谷歌翻译
我们提出了一种学习来自未标识的行为视频的代理的姿势和结构的方法。从观察开始，表现代理通常是行为视频中的主要运动来源，我们的方法使用具有几何瓶颈的编码器 - 解码器架构来重建视频帧之间的差异。只要仅关注运动区域，我们的方法直接在输入视频上工作，而无需手动注释，例如关键点或边界框。关于各种代理类型（鼠标，飞，人，水母和树木）的实验展示了我们的方法的一般性，并揭示了我们发现的关键点代表着语义有意义的身体部位，这在关键点回归上实现了最先进的性能在自我监督的方法中。此外，我们发现的关键点可实现可比的性能，以对下游任务的监督关键点，例如行为分类，表明我们的方法可以大大降低模型培训VIS-VIS监督方法的成本。
translated by 谷歌翻译